gnomeos: Move gnome-common to devel component

Don't need it in runtime.

gnomeos: Fix gnomeos-run.sh to use new naming scheme

core: Make local-clone handle nested refs/heads directories

core: Ensure we abort transaction if we fail in the middle

Otherwise we could leave a lot of temp files lying around.

gnomeos: Delete now upstream pixman patch

gnomeos: --disable-silent-rules globally

gnomeos: --disable-silent-rules for cairo

gnomeos: Pull in more of X, we're on cairo now

ostbuild: Switch to JSON metadata, various other fixes

gnomeos: Switch to GNU awk

gnomeos: add libXau

ostbuild: Don't fail if trying to rename() across a bind mount

ostbuild: Make use of --recompose

gnomeos: Initial commit should be a compose

This is just cleaner - we know where the ref came from, rather
than making it a copy, and also we can use it with the new
--recompose bits to keep adding to it.

core: Make --recompose skip passed arguments if they were already composed

This allows us to do "--recompose -b foo bar baz" and add bar and baz
iff they weren't already there.

ostbuild: Use split out linux-user-chroot binary

This way other meta-build projects could use it; mainly mock/pbuilder.

Also I don't have to keep running chown root:root; chmod u+s in a
separate root terminal after every install.

gnomeos: Move everything into JSON, start plowing through X.org

Also:

* Stop generating tarballs for artifacts, use plain directories
* Commit artifacts as uid/gid 0, with no xattrs

Other misc stuff

gnomeos: Switch to GNU tar

core: Add --no-xattrs option for commit

Will be used by ostbuild.

core: Error out cleanly if user attempts to commit an empty tree

gnomeos: We can now build gobject-introspection

gnomeos: Add python-dev to devel image, drop pseudo

We need python-dev for gobject-introspection at least, and we don't
need pseudo at this time.

gnomeos: Add python-misc too so we get argparse

For some reason in the current yocto argparse is in python-misc.

gnomeos: Include Python files in main ostree package

.gitignore: Also ignore _build

This is automake's default build directory.

core: Make compose skip commit if tree is identical

This was a new option for commit, but we always want to do it
for a compose.

tests: Fix metadata test, we removed the spurious =

core: Add --print-metadata-key option for show

Useful for tools to extract simple metadata.

Add an initial man page - ostree(1)

Heavily cribbed from systemd - thanks Lennart!

ostbuild: Port chroot-compile-one to ostbuild executor

ostbuild: Port commit-artifacts to ostbuild executor

ostbuild: Move autodiscover-meta to ostbuild executor

ostbuild: Make new 'ostbuild' main entry point, and compile-one a subcommand

The collection of Python scripts here have gotten to the point where
we need to share code.  Start refactoring things so that we have one
main command which imports subcommands as libraries.

ostbuild: Propagate buildroot version, finish add-artifacts

We need to track what buildroot each artifact was created in.

gnomeos: Add --skip-if-unchanged for yocto commit, also show a diff after building

We don't want to make new commits if nothing changed.

core: Add --add-metadata-string option for commit

A convenience function for the common case of slapping a string into
the metadata.

core: Fix libarchive test count

core: Add --tar-autocreate-parents option for commit

The tar files we're making of artifacts don't include parent
directories.  Now we could change the builder to make them, but we can
also just autocreate them on import.  Mode 0755 with no xattrs seems
OK here.

core: Fix build with libarchive disabled

core: Add --skip-if-unchanged option for commit

There's not much point for OS builds to have "empty" commits.

core: Add some more sanity checks to pull when parsing metadata

core: Preemptively error out on paths longer than PATH_MAX

Just noticed this while thinking like an attacker.

core: Allow / in ref names like git does

Using / is nice basically.

gnomeos: Update yocto commit script for new commit commandline syntax

core: Use global random object

We were pointlessly creating a new rand (and thus opening /dev/random)
on every temp file creation, but still using the global rand.

core: Drop unix::is-mountpoint from fast queryinfo flags

If this is present, we call access() and stat() on the parent
directory.

core: Use GFile for repo constructor API, and a bit more internally

Also, ensure that the repo directory GFile is absolute - this avoids
a getcwd() syscall every time we construct a GFile object.

core: Add --recompose option for compose

This will allow us to easily regenerate a compose without passing the
full list of components each time.

core: Change compose to operate purely in-memory

This is *significantly* faster than checking out each branch into the
real filesystem, then importing it again.

core: Allow specifying a previous commit tree as a basis for a new commit

It's pretty trivial to map a previously existing commit tree into a
mutable tree too.  While we're here change the command line arguments
for commit so that we can now properly overlay any combination of
directory, commit, or tarfile.

core: Expose more details of commit via API

Rather than offering high level "commit directory", instead perform
operations on a mtree.  Commits are treated more like regular objects.

Change the commit builtin to drive this all at a lower level.

core: Add omitted mutable tree files

core: Rename "store" public APIs to "stage" since that's what they do

core: Make OstreeRepoFile "public"

* "ls" used it
* It's not like our internal API is 100% stable anyways
* The _ is ugly

core: Add new "mutable tree" class, use it for tar file import

The tar import code forced the resuscitation of a hackish "FileTree"
data type for representing an in-memory tree.  Split this out
into an OstreeMutableTree class for future use by any other in-memory
tree construction.

core: Remove dead code from OstreeRepoFile

Originally I thought it would make sense for OstreeRepoFile to be
mutable, and it probably does, but we should do it in a different way.

ostbuild: Separate metadata discovery, kill wrapper scripts

Add a simple KEY=VALUE metadata file format, and rather than
assuming 'basename' at a low level, allow passing e.g. NAME=gtk3
to override "gtk+".

The wrapper scripts are annoying...for now let's just remove them.

ostbuild: In chroot build, reuse source directory basename

This ensures that the output artifacts are named correctly, and not
"source".

ostbuild: Ensure private libraries are in runtime, and kill .la files

A regular libfoo.so not in one of the regular directories should go in
runtime.  (Probably we should double check it's a regular file too).

Also, delete .la files unconditionally.

core: Support committing multiple tarballs in the same transaction

ostbuild will generate two artifacts: foo-runtime.tar.gz and
foo-devel.tar.gz in the general case.  When committing to the devel
tree, it'd be lame (i.e. slower and not atomic) to have to commit
twice.

gnomeos: Rename images to "runtime" and "devel"

They're just better names, and this matches what the
default artifact splitter is doing now.

ostbuild: Flesh out chroot build to use ostbuild-user-chroot

One thing that made this take significantly longer than it might
have otherwise is that we have to keep PWD "up to date" - otherwise
we hit bugs in glibc's getcwd() implementation.

gnomeos: Pull in ostree from working copy directly

We'll just try to keep it stable.

core: Install unversioned .so, and kill .la file

This avoids Yocto barfing on a versioned shared library symbolic link
without a -dev package.

core: Support --owner-uid and --owner-gid options for commit

This allows us to more easily import user-built tarballs into
a root-owned OSTree repo.

tests: Ensure we quote grep pattern

Otherwise we fail if the pattern starts with -

core: In user mode checkouts of archives, use hard links

Now that we've done all the gyrations to separate content from
metadata in archives, we can just hard link when doing user checkouts.

core: Fix a few memory leaks

gnomeos: Don't make device files

We don't need them any more inside a chroot now that we have
ostbuild-user-chroot.

core: INCOMPATIBLE CHANGE: Split archive files in two parts (meta and content)

This will allow us to have hardlink checkouts of archives.  A key use
case here is an archive repo of an OS (with root-owned files etc.)
where we want to do builds in a user tree.

A positive side effect of doing things this way is that now the SHA256
checksums for a given file should be identical regardless of whether
it's stored in an archive or bare repository.

core: Don't insert null byte in temporary file names

core: Add utility functions to convert a OstreeObjectType to/from a string

core: INCOMPATIBLE CHANGE: Name repo files with their type (e.g. .dirmeta)

This makes inspection easier.  Internally the code gets simpler because
metadata and files are more unified; there is just one object type.

osbuild: Make a MS_NOSUID bind mount over /

This closes a serious issue in that we still do a uid switch to 0 when
executing a suid binary, even though we're not gaining capabilities.

core: Initialize variables in fsck

Otherwise we segfault on an unhandled filename.

core: Change fsck to use packfile parsing API

core: s/pack/archived/

This completes the rename from the previous commit.

core: Make ot_transfer_out_value() take a & for the second argument

As Ray Strode argued, it's confusing to have something that looks like
a function be magical.  And OT_TRANSFER_OUT_VALUE is uglier.

core: INCOMPATIBLE CHANGE: Rename .packfile to .archive

It's too confusing that we call the mode "archive" but the actual
files ".packfile".  Also, git already has a "packfile" that serves a
totally different purpose.

core: Switch is_archive to an enumeration

This is in preparation for adding a third mode.

core: Delete some dead code

core: Clean up checkout code

Take a GFile * for destination.  Also, we only need one recursive
function, not two.

user-chroot: Add --unshare-pid, --unshare-net, and --mount-proc

To use CLONE_NEWPID we have to actually call clone() because it's
not supported by unshare().

To enable CLONE_NEWPID to be useful, we have to allow creating a new
proc mount rather than binding an existing one.

ostbuild: Add --unshare-ipc flag for user-chroot

This optionally closes down more paths to the host, which is
a good thing.

core: Add -U option for checkout to skip lchown() and xattrs

This is useful for checking out an OS filesystem tree as a regular
user, and not caring about /dev and stuff.

core: Ensure we chown created directories too

core: Remove some useless wrapping of packfile unpacking in checkout

ostbuild: Compile and install ostbuild-user-chroot

It still needs to be made setuid.

ostbuild: Also allow making directories read-only

ostbuild: Clarify "safely" for user-chroot

ostbuild: Recursively make mount points private

This ensures we're not going to mutate any global state.

ostbuild: Allow binding arbitrary directories, don't hardcode /proc /dev

This is just more flexible, and eventually we want this to be a
generic user-chroot tool.

ostbuild: Ensure user chroot mounts are not shared

It's possible that the root filesystem mount is global; we need
to undo that in order to be sure that our "private" bind mounts
really are private.

ostbuild: Update user-chroot to bind mount /proc and /dev

core: Major cleanup to internal import API

core: Further unify code for importing from local FS and libarchive

Note this change makes it so we no longer call link() from an import
filesystem tree to the repository.  This is a Good Thing really; it
makes local FS commits slower, but also less prone to corruption.

core: Ensure we initialize checksum in FIFO case too

core: Add _from_input variant of checksum API

ostbuild: ostbuild-user-chroot: New Linux-specific utility for safe chroots

gnomeos: Make run script transparently update existing FS image

This is noticeably faster.